Das neue Framework umfasst ein lokales LLM, das ein Prompt-Ergebnis in vom Entwickler vorgegebenen Typen zurückliefert. Es übergibt sein Ergebnis strukturiert in konkreten Typen und nicht einfach als unstrukturierten String, was sich im Kontext einer API als sehr hilfreich erweist. Der Entwickler spart sich dadurch das selbstständige und fehleranfällige Parsen von Strings. Die dahinterliegende Technik heißt Constrained Decoding und existiert erst seit wenigen Jahren.